Die Nutzung neuer Werkzeuge kann man sich nur dadurch aneignen, dass man sie nutzt. Dabei kann es erwartete und - sehr - unerwartete Ergebnisse geben. Daraus möchte ich lernen und Feedback mit andern dazu austauschen.
Ein Idee für ein Prompt; es soll eine - scheinbar - einfache Aufgabe sein: Erstelle eine Liste mit zehn Tier-Benennungen, die den Buchstaben H genau einmal in der Benennung enthalten.
Die Ergebnislisten der einzelnen KI, die ich für die Aufgabe verwendet habe, sind folgende:
Alle drei KI liefern zehn Wörter und es sind alles Tiernamen. Die Liste von you.com trifft die Erwartung in der besten Näherung. Es sind zehn Bezeichnungen; sie beginnen alle mit einem H. Die Benennung Huhn enthält allerdings zwei H und sie wird dreimal aufgeführt. Mit dem ersten Aspekt wird der Prompt eindeutig nicht eingehalten. Der zweite Aspekt ist eine Erwartung, die ein Mensch wahrscheinlich hat - keine Wiederholungen der Benennung. Allerdings in der objektiven Formulierung des Prompts stellt es eine zulässige Antwort dar.
Die Listen von ChatGPT und bing enthalten drei bzw. vier Wörter mit genau einem H. Die Mehrheit der Antworten erfüllt die Anforderung des Prompts nicht.
Wie sind diese Ergebnisse einzuordnen? Ein LLM operiert entsprechend der Funktionsdesigngrundlage auf der Ebene von Worten - nicht von Buchstaben. Somit ist die Aufgabe für diese KI im Grundprinzip nicht direkt lösbar. Was ein sechsjähriges Kind in der Schule in der ersten Klasse lernt, ist in einem LLM nicht vorgesehen: Buchstaben in einem Wort erkennen und damit interagieren. Somit würde ein LLM niemals zuverlässig eine solche Liste erzeugen können.
Insbesondere für das in Deutschland übliche Kombinieren von Wörter zu einem neuen Wort, findet für ein LLM ein Training statt. Wenn dabei dann ein Buchstabe als ein Wort gesehen wird, wären qualifizierte Ergebnisse vorstellbar. Da allerdings im Deutschen ein Buchstabe kein eigenständiges Wort darstellt, sollte dafür auch kein Training in den Daten vorliegen.
Ein nutzbares Ergebnis kann dann zustande kommen, wenn in den Trainingsdaten Inhalte vorlagen, die einen Bezug zwischen den Tierbenennungen und H als Wort herstellen. Das wären typischerweise Listen, in denen Tiernamen alphabetisch aufgelistet werden. Damit lässt sich das Ergebnis von you.com erklären.
Differenzierter wird es bei den Tiernamen mit dem H an einer beliebigen Stelle im Wort. Hier muss das Training eine Datenquelle nutzen, die "das Wort" H den Tiernamen zuweist, wenn es im Wort vorkommt. Solche Listen wiederum sind wahrscheinlich er selten zu finden.
Trifft meine Einschätzung und Interpretation das Designprinzip der LLM oder habe ich etwas falsch eingeordnet?
Pur HTML